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Кто мы? 


Компания: МіхВуїеѕ 

Сайт: mixbytes.io 

Телеграм-канал: https://t.me/mixboytes_pub 

Род деятельности: разработка, аудит, исследования, консалтинг в области децентрализованных 


технологий 


Мы — команда программистов и аудиторов кода, увлеченные децентрализованными протоколами. 
Мы аудируем топовые блокчейн-проекты, разрабатываем и тестируем блокчейны, консультируем 
компании, пишем статьи и документацию. Входим в мировой топ компаний по аудиту и разработке 


блокчейн-решений 


Блокчейны и базы данных 


- блокчейны ~~ распределенные базы данных © 
- алгоритмы консенсуса ~~ репликация 
гпазтег-тазтег ~ Се 
- смарт-контракты ~~ хранимые процедуры ~“ 
- процессинг новых блоков ~~ работа с > па 
уШе-апеаа |од(МА ) в БД 


- _ финализациа блока ~~ commit transactions 


LO 
AA 
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Разрабатываем консенсус 


• первый слой — валидация блока, произведенного В 
одним из валидаторов 
• второй слой — финализациа, асинхронный сбор 
подписей (тот самый ВЕТ-консенсус) 

о + проблемы “перепроигрывания" цепочки 

о + проблемы создания snapshots 

о + проблемы отката невалидных ветвей 
е итого под капотом у любого БЧ: 


о (ее ОВ, RocksDB + snapshots + revert logic 


@ Already finalized 


Best chain В Best block 


Тестируем логику сетевого консенсуса 


о синтетические тесты, симуляция консенсуса 
ө не забыть протестировать: 
о изменение списка валидаторов 


о откат невалидных ветвей 


о replay с нула 


Data 


о восстановление из зларзћог а dependency 


Data 


о а что с эксплуатационными проблемами? dependency 


a) Log Dependencies b) Real Dependencies 
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Эксплуатационные проблемы 
консенсуса (общие) 


о традиционно для любых распределенных БД: 
о влияние сети и характера транзакций 
о нужна нагрузка и реальные блоки с транзакциями 
о разгребание роо!'а транзакций 


о ѕїаїе?иі-состояние — чем дальше, тем “тяжелее” БД 


ЕУ НЕН! оаа 
(н) и м 


Эксплуатационные проблемы 
консенсуса (Ыіосксһаіп-ѕресійс) 


ею между валидаторами р2р-сеть 

• доступ к валидаторам — через М|-нодњ! 

е governance может сильно изменить состав валидаторов 
е из-за криптографии можно легко упереться в СРЏ 


e реализации кода блокчеин-нод на разных языках 


Что есть готового под блокчейны? 


е наиболее развитые: 
о Нурепеадег Caliper 
іа оркестратор аоскег-образов 
Е нет облака, эмуляции део/раскећоѕѕ, только под 
решения семейства Нурепеадег 
о Whiteblock Genesis 
а benchmark аѕ-а-ѕегуісе 
= свое облако, в котором разворачивается нужное 
ЧИСЛО НОД 
m заточен под Ethereum-like-cetmn 
• есть и другие решения: 
о обычно это локальная оркестрация аоскег-образами 


Как это было у нас 


e модифицировали готовый сетевой консенсус EOS 
• требования: 
о финалђносћ за 2-5 сек 
о работоспособносћ сети с ~100 валидаторов, 
распределённых по миру 
о скачкообразное изменение числа валидаторов 
• грант на тестирование блокчеин-сети Polkadot 
е как протестировать, что консенсус заработает в реальной 


сети под нагрузкой? 


Ошибки, допущенные при ручном 
тестировании 


е тестировали на небольшом числе валидаторов 

е не протестировали случай резкого увеличения числа 
валидаторов 

• не увидели нехватку СРЏ на нодах 

• было трудно собирать логи и согеаотр'ы 


e не сразу сделали хороший паттерн тестирования 


- нужно было решение с повторяемыми тестами, большим 
числом валидаторов, эмуляцией раскећоз/део и сбором 


ЛОГОВ 


(имињата 


Какие подходы есть? 


от полностью локальных тестов к полному testnet 
о внутренние синтетические тесты 
ја покрывают сложную логику 
ја 100% воспроизводимы 
в но плохо описывают реальные условия 
о полный testnet с десятками нод 
а самые реальные условия 
о плохо воспроизводимы 
m дорого! 


хорошее решение находится между этими крайностями 


чтобы выбрать правильно, определим требования 


Требования к решению 


воспроизводить конфигурацию и функционал кластера на 1,2,..., 100 
машинах 

автоматически проводить Setup сети (создавать много рандомных 
аккаунтов, выдать им крипту) 

собирать метрики с нод блокчейна и с клиентов 

запускать тесты в повторяемых условиях 

эмулировать проблемы реальных сетей (геораспределение, раскећоѕѕ) 
запускаться в разных сіооа-провайдерах и делать это максимально дешево 
абстрагировать код для тестирования и бенчмаркинга от инфраструктуры 
запуска и сбора метрик 


иметь возможность встраиваться в процесс разработки 


Так появился mixbytes tank 


разворачивает сети в Digital Ocean, GCE 

перед запуском теста создает с нуля нужные УР5 

после теста удаляет все использованные VPS 

эмулирует раскећоз и географию 

использует многопоточную отправку транзакций с клиентов 
собирает преднастроенные метрики и позволяет добавлять 
свои собственные 

использует заданные разработчиком виды транзакций 
собирает логи и согедитр-файлы 

позволяет добавлять новые типы блокчейнов, БД и новые 
облака 

на данный момент работает с зирзтате/Рокааот и 


ЕО5-Базеа-блокчеинами 


Use cases 


- разработчик консенсуса: 
- воспроизводимый бенчмарк сети, анализ логов в 
случае проблем 
-  мини-кластер на своей машине 
- безопасник/аудитор/аналитик 
- stress benchmark, fuzzing сети 
- — CI/CD: 
- автоматический бенчмарк после последнего коммита 
- product owner: 
- было/стало 


- идругие... 


Состав решения. основные компоненты 


• язык: Python З 


• Тетаѓогт: для работы с облаком 


о 


о 


о 


о 


единый интерфейс для разных облаков (GCE, ОО) 
понимает их специфические АР! 

создает новые VPS, на которых поднимаются блокчеин- 
ноды, бенчмарки и мониторинг 

позволяет указать географию нод и раскећоѕѕ ratio (для 
облаков, поддерживающих эту опцию) 


удаляет все VPS в конце теста 


• готовит inventory для ansible 


(во) пне 


Состав решения. основные компоненты 


e — Ansible: сценарии для запуска сети 
о использует сервера, предоставленные Тетаѓогт 
о раскладывает конфиги, генерирует ключи для каждого 
сервера 
о собирает со всех нод и прописывает реегы 
о имеет стандартные роли для prometheus + агатапа 
о ansible playbooks пишутся под отдельный блокчеин 
о часто уже существуют готовые 
е локальное тестирование сценариев в аоскег ах с помощью 


Molecule 


- name: "Start {{ bc_name }}-{{ bc_component_name }} container" 


tags: 
- prod 
docker_container: 
name: "{{ bc_name }}-{{ bc_component_name }}" 
image: "{{ bc_polkadot_image }}" 
command: | 
/usr/local/bin/polkadot -d /state 
--chain=bench --validator --ws-external --rpc-external --rpc-cors=all 
--bootnodes "/ip4/{{ bc_boot_ip[0] }}/tcp/30333/p2p/QmXS53cQyDRT7RaXiKYLjfkX8xSc9pBDPohDh1F3HxzjAz" 
hostname: "{{ bc_name }}-{{ bc_component_name }}" 
network_mode: host 
volumes: 
- "{{ bc_path_state }}:/state" 
env: 
EXTRA_VALIDATORS: "{{ (groups['bcpeers'] | length) - (groups['bcboot'] | length) }}" 
EXTRA_ENDOWED: "{{ bc_polkadot_extra_endowed }}" 
stop_timeout: 600 
pull: true 


- name: "Check health producer" 


uri: 
url: "http://localhost :9933" 
method: POST 
body: '{"jsonrpc":"2.0", "method" : "ѕуѕсет_ һеа1сһ", "params": (1, "id":1}' 
body_format: json 
status_code: 200 

register: check_producer 

retries: 15 

delay: 10 

until: check_producer is success 

tags: 
- prod 
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Состав решения: benchmark рай 


базируется на прт-пакете їапк.репсһ-соттоп, который: 

о многопоточно шлет транзакции с заданным tps (обычно 

используется JSON РРС или МерЅоскеїѕ) 

о посылает в prometheus основные метрики из бенчмарка 
дополняется написанным под конкретный тест кодом 
tank.bench-*, который: 

о отправляет нужный вид транзакций 

о проводит зетор в блокчейне (создает аккаунты и их 

начальные STATE’ bl) 


выбран JS, т.к. почти BCE блокчейны имеют клиентский код на нем 


const commitTransaction = async ( 


}; 


{constructData}: 


CommitTransactionArgs<ReturnType<typeof ргераге>, ReturnType<typeof constructBench>>): 


Promise<TransactionResult> => { 


const {usersConfig, keyPairs, userNoncesArray, api} = constructData; 


let senderSeed = getRandomSenderSeed(usersConfig); 
let senderKeyPair = keyPairs.get(senderSeed) !; 


let попсе = Atomics.add({userNoncesArray, senderSeed - usersConfig.firstSeed, 1); 


let receiverSeed = getRandomReceiverSeed(usersConfig, senderSeed); 
let receiverKeyringPair = keyPairs.get(receiverSeed)!; 


let transfer = api.tx.balances.transfer(receiverKeyringPair.address, TOKENS_TO_SEND); 


await transfer .signAndSend(senderKeyPair, {попсе}); 


return {code: 10, error: null} 


Результаты 


сделали несколько тестов для собственного 
алгоритма финализации КАМОРА 
доказали работоспособность консенсуса в разных 
конфигурациях 
о проверили со 101 валидатором, део, раскео55 
о до запуска testnet 
запустили таіппеї, с ноября 2019 в production, все 
работает 
провели публичное тестирование сети Polkadot (Рату 
Substrate) 


о со 101 валидатором, део и раскео55 


Finality delay blocks: 95 percentile for last 2m 


1220 1230 1240 12:50 300 1310 1320 1330 1340 13:50 1400 1410 1420 1430 1440 14:50 1500 151 


(пагапсе="138.68.66.120:8889' ј 8.68 66.120") (пакапсен“138.68.66.137:8889" Јоб““1 38.68 66.137) (пекапсенч“138.68.66.141:8889" Јор“"138 68.66.1417) 
((магапсе="138.68.66.145:8889' јођ="138.68.66.145') == (Іпзізпсе«"138 68.66.147:8889'0«"138 68.66 147°) == (патапсе="138.68.66.155:8889' јође"138 68 66155") 


(паћапсе="138.68.66.156:8889' јођ="138.68.66.156) == (паапсе="138.68.66.160:8889' јоб="138.68.66.160) == Опшапсе="138.68,66.161:8889" јобе"138.68.66.161") 


Extrinsics pending 


1250 1300 1310 1330 1340 13:50 1400 1410 1420 1430 1440 1450 1500 151 


= polkadot pending ехііпвісеђпеізпсе=“138.68.66.216:9889"оь="138.68.66.216") == polkadot pending екипесеблаќапсе“"138.68.66.220-8889" јођ="138.68.66.220) 
== polkadot pending ежппеседгилапсе="138.68.66.225:8889" јођ="138.68.66.225") = рокабо\ репдпа екипа себпаѓапсе-"138.68.66.245:8889“ јођ="138,68.66.245) 
= polkadot репо ехиппејсебпеќапсен“138 68.66. 62.8889" Јоби“138.68 66.62) = polkadot репфто ехппака(петапсеч“138.68.66.64:8889“ јође"1 38.68.66.64} 
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Обещали экономию? 


• блокчейн-ноды довољно требовательны к ресурсам 
о почти всегда это Іагде-инстансы 
о важное отличие оттрадиционных сервисов 
о потребляют CPU, сеть и диск даже B idle- 
режиме 
е держать їеѕїпеї для тестов месяцами - дорого 


e примерный расчет — на картинке 


е Стоимость |агде-машин составляет $80/топ = %0,11905/ћ = 


$0,0019842/тіп 

e Стоимость топйойпд-машин составляет $20/топ = $0,02976/ћ = 
$0,000496/тіп 

е Стоимость эта!-машин составляет $20/топ = Ф0,02976/Н = 
$0,000496/тіп 


Расчет стоимости запусков тестов: 


• Тест 
• Тест 
• Тест 
• Тест 
• Тест 
• Тест 
• Тест 
• Тест 
• Тест 


• Тест 


1 
2; 
3 
4 
5: 
6 
7 
8 
9 


18: 


Сумма: 72.25% 


( (0, 000496 


: ((0, 000496 
: ((0, 000496 
: ((0, 000496 
: ((0, 000496 


( (0, 000496 


х 


* 


* 


ж 


ж 


: ((0,000496 х 1) 
: ((8,008496 
: ((0,900496 
: ((0,д00496 


1) 
1) 
1) 
1) 
1) 
1) 
1) 
1) 
1) 


+ 


+ + + + + 


+ + + + 


(0,0019842 ж 21)) * 23 
(0,000496 * 21)) * 128 


(0,0019842 
(0,0019842 
(0,0019842 
(0,0019842 
(0,0019842 
(0, 0019842 
(0,0019842 
(0,0019842 


* 


* 


* 


* 


* 


* 


* 


* 


21)) * 43 
21)) ж 58 
21)) ж 98 
21)) ж 38 
55)) * 108 
101)) ж 78 
101)) ж 75 
91)) ж 101 


0,96977665 
1, 30944$ 

1, 8130606$ 
2,10821$ 

3, 794778$ 

1, 3914186$ 
11, 839716$ 
15, 6702156$ 
15, 067515$ 
18, 2868782$ 
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Как использовать в своем блокчеине/БД 


сделать репозитарий с Ј5-функциами зетир’а аккаунтов и отправки 
одной транзакции (можно по аналогии с їапк.репсһ-ро!ікааої) 
сделать репозитарий с апѕіріе-ролью для provisioning’a кластера БД или 
блокчейн-сети (можно по аналогии с tank.ansible-polkadot) 
о для блокчеинов на том же ядре или апдейта версии обычно нужно 
просто поменять URL репозитория или docker image 
pip3 install тіхбуеѕ-їапк 
configure <testcase file>.yml 
о ansible геро, число инстансов, тип облака и АР! key, Сгаѓапа 
credentials, део parameters, etc... 


tank cluster (deploy | run | bench | destroy | inspect |...) <testcase file>.yml 


Спасибо 


Ç 
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